package sparkCoreNew

import org.apache.spark.{SparkConf, SparkContext}

object FileRDD {
  def main(args: Array[String]): Unit = {
//    读取数据文件，构建rdd
//    1构建spark的配置
val conf = new SparkConf().setMaster("local[*]").setAppName("hello Xue")
//    2 构建sparkcontext sc
    val sc=new SparkContext(conf)
    val  fileRdd=sc.textFile("D:\\Code\\data\\data.txt")
/*    val obj1=fileRdd.flatMap(x=>x.split("\\\\00A"))
    val mapRdd=obj1.map(x=>(x,1))
    val rRDD=mapRdd.reduceByKey((x, y) => x + y)
    rRDD.foreach(x=>println(x))*/
//    保存文件
 //   rRDD.saveAsTextFile("D:\\Code\\dataResult\\")
fileRdd.flatMap(_.split("\\\\00A")).filter(x=>x.contains("玩具") || x.contains("家电") || x.contains("服装")).map((_,1)).reduceByKey((_+_)).foreach(println(_))
//    fileRdd.flatMap(_.split(",")).filter(_.contains("java")).map((_,1)).reduceByKey((_+_)).foreach(println(_))

  }

}

